#!/usr/bin/python
#coding: utf-8

import sys
sys.path.append("..")

from AppManager.NewAppManager2 import AppManagerMain
from UrlManager.UrlManager import UrlManagerMain
from ProxyManager.ProxyManager import ProxyManagerMain
from AppUrlJudge.AppUrlJudge import GetUrls
from DataAnalysis.DataAnalysis import DataAnalaysisMain
from Config.Config import TimeSleep
from AppUrlJudge.CreateAllInfoMySQL import CreateAllInfoMain
import time

def ManagerMain():

    # # 先爬取一次代理IP，在下面两步执行的过程中，也会进行获取代理IP，因为代理IP是不断更新的
    # print u"第一步，爬取代理ip"
    # ProxyManagerMain()
    # time.sleep(TimeSleep)
    #
    # # 首先爬取所有页面的应用链接（这一步还可以进行优化，就是在每一次插入数据库之前进行判断数据库中是否已经有这条语句了）
    # print u"第二步，爬取每个应用链接"
    # UrlManagerMain()
    # time.sleep(TimeSleep)
    #
    # # 然后再爬取每一个应用链接中的数据
    # print u"第三步，爬取每个应用的数据"
    # AppManagerMain()
    # time.sleep(TimeSleep)

    # 最后再进行对数据库中存入的数据进行处理,对某些url不同时存在于两张表(soft_info，soft_survey)的数据删除
    print u"第四步，数据库中数据优化"
    GetUrls()
    time.sleep(TimeSleep)

    print u"第五步，把数据都写入总表"
    CreateAllInfoMain()
    time.sleep(TimeSleep)

    # 数据分析
    print u"第六步，数据分析"
    DataAnalaysisMain()

if __name__ == "__main__":
    t1 = time.time()
    print u"总程序开始的时间为", time.ctime(t1)
    ManagerMain()
    t2 = time.time()
    print u"结束的时间为", time.ctime(t2)
    print u"程序运行总时间为", (t2 - t1)